Nguyễn Duy Ngọc sinh năm 1964 tại huyện Kim Động, tỉnh Hưng Yên.

Ông từng giữ các chức vụ: Trưởng Công an huyện Thanh Trì, Trưởng phòng Cảnh sát giao thông đường bộ đường sắt (PC67) Công an thành phố Hà Nội (các năm 2009, 2010, 2011, hàm Thượng tá, năm 2012 hàm đại tá)[4][5][6][7].

Tháng 7 năm 2012, ông là Đại tá, Chánh văn phòng Cơ quan Cảnh sát điều tra Công an Hà Nội (Trưởng phòng PC44 Công an TP. Hà Nội).[8]

Ngày 6 tháng 3 năm 2013, Đại tá Nguyễn Duy Ngọc, Chánh văn phòng cơ quan Cảnh sát điều tra, Công an thành phố Hà Nội, nhận quyết định bổ nhiệm có thời hạn chức vụ Phó Giám đốc Công an thành phố Hà Nội.[9][10]

Ngày 16 tháng 1 năm 2014, Đại tá Nguyễn Duy Ngọc - Phó Giám đốc Công an TP Hà Nội - được bổ nhiệm giữ chức vụ Thủ trưởng cơ quan Cảnh sát điều tra Công an TP Hà Nội thay cho Thiếu tướng Trần Thùy xin nghỉ hưu trước tuổi.[11]

Ngày 28 tháng 11 năm 2016, Đại tá Nguyễn Duy Ngọc, Phó giám đốc kiêm Thủ trưởng Cơ quan Cảnh sát điều tra Công an Hà Nội được bổ nhiệm giữ chức Phó tổng cục trưởng Tổng cục Cảnh sát, Bộ Công an Việt Nam dưới quyền Tổng cục trưởng là Trung tướng Phan Văn Vĩnh.[12]

Năm 2017, Nguyễn Duy Ngọc được thăng quân hàm Thiếu tướng.[13]

Tháng 1 năm 2018, Nguyễn Duy Ngọc là Thiếu tướng Công an nhân dân Việt Nam, Phó Tổng cục trưởng Tổng cục Cảnh sát, kiêm Cục trưởng Cục Cảnh sát điều tra tội phạm về kinh tế và tham nhũng.[14]

Ngày 10 tháng 8 năm 2018, Bộ trưởng Bộ Công an Tô Lâm ký quyết định bổ nhiệm Thiếu tướng Nguyễn Duy Ngọc 54 tuổi, nguyên Tổng cục phó Tổng cục Cảnh sát Bộ Công an làm Phó thủ trưởng Cơ quan Cảnh sát điều tra, Cục trưởng Cục Cảnh sát điều tra tội phạm về tham nhũng, kinh tế, buôn lậu, Bộ Công an Việt Nam.[15]

Ngày 15 tháng 8 năm 2019, ông cùng với Trung tướng Lương Tam Quang (cũng cùng quê Hưng Yên) được Bộ trưởng Tô Lâm trao quyết định của Thủ tướng Nguyễn Xuân Phúc bổ nhiệm giữ chức vụ Thứ trưởng Bộ Công an Việt Nam.[16][17]

Đầu tháng 12 năm 2019, Thủ tướng Chính phủ Việt Nam Nguyễn Xuân Phúc ra quyết định (Phó Thủ tướng thường trực Trương Hòa Bình kí thay) phân công Thiếu tướng, Thứ trưởng Nguyễn Duy Ngọc giữ chức vụ Phó Chủ tịch Ủy ban An toàn Giao thông Quốc gia thay Trung tướng, Thứ trưởng Nguyễn Văn Sơn.[18]